Graph convolutional neural networks have shown significant potential in natural and histopathology images. However, their use has only been studied in a single magnification or multi-magnification with late fusion. In order to leverage the multi-magnification information and early fusion with graph convolutional networks, we handle different embedding spaces at each magnification by introducing the Multi-Scale Relational Graph Convolutional Network (MS-RGCN) as a multiple instance learning method. We model histopathology image patches and their relation with neighboring patches and patches at other scales (i.e., magnifications) as a graph. To pass the information between different magnification embedding spaces, we define separate message-passing neural networks based on the node and edge type. We experiment on prostate cancer histopathology images to predict the grade groups based on the extracted features from patches. We also compare our MS-RGCN with multiple state-of-the-art methods with evaluations on both source and held-out datasets. Our method outperforms the state-of-the-art on both datasets and especially on the classification of grade groups 2 and 3, which are significant for clinical decisions for patient management. Through an ablation study, we test and show the value of the pertinent design features of the MS-RGCN.

We present a retrospective on the state of Embodied AI research. Our analysis focuses on 13 challenges presented at the Embodied AI Workshop at CVPR. These challenges are grouped into three themes: (1) visual navigation, (2) rearrangement, and (3) embodied vision-and-language. We discuss the dominant datasets within each theme, evaluation metrics for the challenges, and the performance of state-of-the-art models. We highlight commonalities between top approaches to the challenges and identify potential future directions for Embodied AI research.

物理知识的神经网络（PINNS）最近由于解决前进和反向问题的能力而受到了很多关注。为了训练与PINN相关的深层神经网络，通常会使用不同损失项的加权总和构建总损耗函数，然后尝试将其最小化。这种方法通常会成为解决刚性方程式的问题，因为它不能考虑自适应增量。许多研究报告说，PINN的性能不佳及其在模拟僵硬的普通差分条件（ODE）条件下模拟僵硬的化学活动问题方面的挑战。研究表明，刚度是PINN在模拟刚性动力学系统中失败的主要原因。在这里，我们通过提出减少损失函数的弱形式来解决这个问题，这导致了新的PINN结构（进一步称为还原Pinn），该结构利用降低的集成方法来使Pinn能够求解僵硬的化学动力学。所提出的还原细菌可以应用于涉及僵硬动力学的各种反应扩散系统。为此，我们将初始价值问题（IVP）转换为它们的等效积分形式，并使用物理知识的神经网络求解所得的积分方程。在我们派生的基于积分的优化过程中，只有一个术语，而没有明确合并与普通微分方程（ODE）和初始条件（ICS）相关的损失项。为了说明减少细菌的功能，我们用它来模拟多个僵硬/轻度的二阶频率。我们表明，还原的Pinn可准确捕获刚性标量颂歌的溶液。我们还针对线性ODES的硬质系统验证了还原的Pinn。

消费者和生产商参与需求响应计划的智能电网有所增加，从而降低了电力系统的投资和运营成本。同样，随着可再生能源的出现，电力市场变得越来越复杂和不可预测。为了有效地实施需求响应计划，预测电力的未来价格对于电力市场的生产商至关重要。电价非常波动，在各种因素的影响下发生变化，例如温度，风速，降雨，商业和日常活动的强度等。因此，将影响因素视为因变量可以提高预测的准确性。在本文中，根据门控复发单元提出了电价预测模型。电负荷消耗被认为是该模型中的输入变量。电价中的噪音严重降低了分析的效率和有效性。因此，将自适应降噪的减少器集成到模型中以减少降噪。然后，SAE用于从售电价中提取功能。最后，馈入GRU以训练预测变量。实际数据集上的结果表明，所提出的方法可以在预测电价方面有效地执行。

联邦学习的出现在维持隐私的同时，促进了机器学习模型之间的大规模数据交换。尽管历史悠久，但联邦学习正在迅速发展，以使更广泛的使用更加实用。该领域中最重要的进步之一是将转移学习纳入联邦学习，这克服了主要联合学习的基本限制，尤其是在安全方面。本章从安全的角度进行了有关联合和转移学习的交集的全面调查。这项研究的主要目标是发现可能损害使用联合和转移学习的系统的隐私和性能的潜在脆弱性和防御机制。

我们提出了Unified-io，该模型执行了跨越经典计算机视觉任务的各种AI任务，包括姿势估计，对象检测，深度估计和图像生成，视觉和语言任务，例如区域字幕和引用表达理解，并引用表达理解，进行自然语言处理任务，例如回答和释义。由于与每个任务有关的异质输入和输出，包括RGB图像，每个像素映射，二进制掩码，边界框和语言，开发一个统一模型引起了独特的挑战。我们通过将每个受支持的输入和输出均匀地均匀地统一到一系列离散的词汇令牌来实现这一统一。在所有任务中，这种共同的表示使我们能够在视觉和语言字段中的80多个不同数据集上培训单个基于变压器的体系结构。 Unified-io是第一个能够在砂砾基准上执行所有7个任务的模型，并在NYUV2-DEPTH，Imagenet，VQA2.0，OK-VQA，SWIG，SWIG，VIZWIZ，BOOLQ，BOOLQ和SCITAIL，带有NYUV2-DEPTH，Imagenet，VQA2.0，诸如NYUV2-DEPTH，ImageNet，vqa2.0等16个不同的基准中产生强大的结果。没有任务或基准特定的微调。 unified-io的演示可在https://unified-io.allenai.org上获得。

当今的最先进的视觉导航代理通常由大型深度学习模型端到端组成。这样的模型几乎没有关于学习的技能或对环境所采取的代理商的行为几乎没有解释性。尽管过去的作品探索了解释深度学习模型，但很少关注解释体现的AI系统，这通常涉及对环境结构，目标特征和行动的结果进行推理。在本文中，我们介绍了用于点目标和对象目标导航剂的具体代理（ISEE）的可解释性系统。我们使用ISEE来探测这些试剂产生的动态表示，以了解有关代理和环境的信息。我们在使用ISEE的情况下展示了有关导航剂的有趣见解，包括能够编码可到达位置的能力（避免障碍），目标的可见性，最初产卵位置的进展以及当我们掩盖关键关键时对代理行为的巨大影响个别神经元。该代码可在以下网址找到：https：//github.com/allenai/isee

大量数据集和高容量模型推动了计算机视觉和自然语言理解方面的许多最新进步。这项工作提出了一个平台，可以在体现的AI中实现类似的成功案例。我们提出了Procthor，这是一个程序生成体现的AI环境的框架。 Procthor使我们能够采样多种，交互式，可自定义和性能的虚拟环境的任意大型数据集，以训练和评估在导航，互动和操纵任务中的体现代理。我们通过10,000个生成的房屋和简单的神经模型的样本来证明procthor的能力和潜力。仅在Procthor上仅使用RGB图像训练的模型，没有明确的映射，并且没有人类任务监督在6个体现的AI基准中产生最先进的结果，用于导航，重排和手臂操纵，包括目前正在运行的Habitat 2022，AI2-- Thor重新安排2022，以及机器人挑战。我们还通过对procthor进行预训练，在下游基准测试上没有进行微调，通常会击败以前的最先进的系统，从而访问下游训练数据。

电力系统容易出现各种事件（例如线路旅行和发电损失），而在情境意识，可靠性和安全性方面，对此类事件的实时识别至关重要。使用来自多个同步管理器的测量值，即相量测量单元（PMU），我们建议通过基于模态动力学提取特征来识别事件。我们将这种基于物理学的特征提取方法与机器学习结合在一起，以区分不同的事件类型。包括每个PMU的所有测量通道都允许利用各种功能，但还需要在高维空间上学习分类模型。为了解决此问题，实现了各种功能选择方法，以选择最佳功能子集。使用获得的功能子集，我们研究了两个众所周知的分类模型的性能，即逻辑回归（LR）和支持向量机（SVM），以识别两个数据集中的发电损失和线路跳闸事件。第一个数据集是从得克萨斯州2000-Bus合成网格中的模拟发电损失和线路跳闸事件中获得的。第二个是专有数据集，其标记事件是从美国的大型公用事业中获得的，涉及近500 pmus的测量。我们的结果表明，所提出的框架有望确定两种类型的事件。

多年来，已经提出了各种方法用于对象检测问题。最近，由于强大的深度神经网络的出现，我们在这个领域取得了长足的进步。但是，在这些方法中通常有两个主要的假设。首先，该模型在固定训练集上进行培训，并在预录的测试集上进行评估。其次，在训练阶段后将模型冷冻，因此在训练完成后未进行进一步的更新。这两个假设限制了这些方法对现实世界设置的适用性。在本文中，我们提出了Interactron，这是一种在交互式环境中自适应对象检测的方法，该方法是在通过在不同环境中导航的体现代理观察到的图像中执行对象检测。我们的想法是在推理过程中继续培训，并在测试时间调整模型，而无需通过与环境进行互动任何明确的监督。我们的自适应对象检测模型比DETR（最新的高性能对象检测器DETR）提供了7.2点的AP（AP50中的12.7点）。此外，我们表明我们的对象检测模型适应具有完全不同外观特征的环境，并且在其中表现良好。该代码可在以下网址获得：https：//github.com/allenai/interactron。